Sau khi về nước tháng 12 năm 1919, Mackensen phục viên khỏi quân đội Đức. Ông đã tham gia các hiệp hội cựu chiến binh Chiến tranh thế giới thứ nhất và giao thiệp với các tổ chức dân tộc chủ nghĩa của thanh niên Đức trong thời kỳ Cộng hòa Weimar.[38] Sau khi Thống chế - Tổng thống Đức Paul von Hindenburg chết năm 1934, Mackensen trở thành thống chế duy nhất còn sống của Lục quân Đế quốc cũ. Mackensen được chính quyền Quốc xã của Adolf Hitler cấp cho một điền trang Brüssow (Tây Phổ), và ông thường hay tham dự các nghi lễ quân đội Quốc xã trong quân phục lính khinh kỵ thời xưa. Bên cạnh đó, Mackensen đã phản đối chính phủ Hitler về việc giết hại 2 tướng Ferdinand von Bredow và Kurt von Schleicher trong vụ thanh trừng đẫm máu "Đêm của những con dao dài" tháng 7 năm 1934, và về những tội ác của quân Đức trong chiến dịch tấn công Ba Lan tháng 9 năm 1939. Hitler và cận thần của ông ta là Joseph Goebbels từng nghi ngờ Mackensen bất trung với chế độ, nhưng họ không thể làm gì được ông.[2] Trên thực tế Mackensen vẫn luôn là một người bảo hoàng cuồng nhiệt, và vào năm 1941 ông đã xuất hiện trong quân phục Lục quân Đế quốc tại lễ tang cựu hoàng Wilhelm II ở Doorn, nay thuộc Hà Lan.[39] Con trai ông, Eberhard von Mackensen (1889 – 1969) là Đại tướng quân đội Đức, đã tham gia chỉ huy nhiều chiến dịch lớn ở Liên Xô và Ý trong Chiến tranh thế giới thứ hai. Cuối cuộc chiến, Mackensen phải sơ tán khỏi Brüssow khi quân đội Liên Xô tiến vào miền đông nước Đức. Ngày 8 tháng 11 năm 1945, ông qua đời ở thị trấn Schmiedelberg - bang Sachsen.[38]